クラスメソッド データアナリティクス通信(機械学習編) – 2024年9月号
2024.09.06データ事業本部 インテグレーション部 機械学習チームの鈴木です。
クラスメソッド データアナリティクス通信(機械学習編) の2024年9月号です。2024年8月分のアップデート情報をお届けできればと思います。
はじめに
AWSでは、Bedrockで東京リージョンでもClaude 3.5 Sonnetが使用できるようになったニュースが大きかったと思います。また、Amazon Personalizeで作成済みのソリューションの自動トレーニング設定が変更できるようになったアップデートも、Personalizeがより使いやすくなり嬉しい知らせだったのではないでしょうか。
Google Cloudでは、BigQuery MLのリモート関数でAnthropic Claudeのモデルが利用可能になったのが印象的でした。Vertex AI APIで提供されるマネージドのAnthropic Claudeのモデルに対して、リモートモデルを設定し、BigQuery MLから利用できる認識です。
それでは各々のアップデートを振り返って行ければと思います。
※ アップデートは機械学習チームメンバー内で業務に取り入れられそうかを中心に確認しているので、一部取り上げられていないものもあるかもしれませんが、参考になりましたら幸いです。また、複数のパブリッククラウドのサービスを取り上げますが、比べたりする意図はありません。
AWSのアップデート
Amazon SageMakerのアップデート
SageMaker Canvasで扱えるデータ量が10倍に
ランダムや層化などの新しいサンプリング手法やEMRとの連携により、以前の10倍のデータ量に対するサンプリング・準備・モデル構築・推論が可能になりました。
Amazon SageMaker Canvas がデータフローのインポート・MLのデータ準備を高速化
Amazon SageMaker Studio Classicからのデータフローのインポートをサポートしました。SageMaker Data Wranglerは、カスタム区切り文字および追加のサンプリングオプションを使用して、S3からより簡単にデータをインポートできるようになったほか、パフォーマンスも向上したようです。
APIのアップデート
上記の大規模なデータの処理に関するAPIのアップデートと、ListPipelineExecutionStepsAPIのレスポンスへのメタデータの追加がありました。
- 2024/08/01 - Amazon SageMaker Service - 6 updated api methods
- 2024/08/12 - Amazon SageMaker Service - 8 updated api methods
- 2024/08/16 - Amazon SageMaker Service - 1 updated api methods
Amazon Bedrockのアップデート
FedRAMP High認証を取得
AWS GovCloud(米国西部)リージョンでFedRAMP High認証を取得したそうです。
Claude 3.5 SonnetとClaude 3 Haikuの利用可能リージョンが拡大
米国西部(オレゴン)・欧州(フランクフルト)・アジアパシフィック(東京)・およびアジアパシフィック(シンガポール)でも利用可能になりました。
Amazon BedrockナレッジベースでAnthropic Claude 3.5 Sonnetをサポート
ナレッジベースでもClaude 3.5 Sonnetが利用できるようになりました。
APIのアップデート
カスタムモデルのリージョン間・アカウント間のコピーに関するものや、S3上の大きなデータに対する推論実行に関するアップデートがありました。
- 2024/08/01 - Amazon Bedrock - 3 new 1 updated api methods
- 2024/08/06 - Agents for Amazon Bedrock Runtime - 1 updated api methods
- 2024/08/19 - Amazon Bedrock - 4 new api methods
- 2024/08/22 - Amazon Bedrock - 7 new 2 updated api methods
- 2024/08/23 - Agents for Amazon Bedrock - 3 updated api methods
- 2024/08/23 - Agents for Amazon Bedrock Runtime - 1 updated api methods
- 2024/08/27 - Amazon Bedrock - 2 new api methods
Amazon Personalizeのアップデート
作成済みのソリューションの自動トレーニング設定が変更できるように
APIやコンソールから、自動トレーニング設定を簡単に変更できるようになりました。有効/無効のみでなく、トレーニング頻度の調整も可能のようです。
以下の記事で解説しています。
Google Cloudのアップデート
Vertex AIのアップデート
プロジェクト間のモデルコピーをプレビュー提供
ソースモデルのオーナー側で、宛先プロジェクト向けのモデルのエクスポート権限を付与することで、プロジェクト間でモデルをコピーができます。（プレビュー）
Generative AI on Vertex AIのアップデート
Gemini向けにトークン一覧とカウントを計算する機能がプレビュー提供
プレビューでGemini向けにトークン一覧とカウントを計算する機能が提供されました。これにより、入力トークンについては課金額が見積もれるようになりました。
AI21 Labsがマネージドモデルとして利用できるように
AI21 Labsのモデルがマネージドモデルとして利用できるようになりました。
アラビア語・ヒンディー語・ロジア語を翻訳できるように
Vertex AIのTranslation LLMでアラビア語・ヒンディー語・ロジア語を翻訳できるようになりました。
Gen AI Evaluation Serviceが一般提供開始
Gen AI Evaluation Serviceが一般提供開始しました。任意の生成モデルまたはアプリケーションを評価し、独自の評価基準を使用して、評価結果をベンチマークできます。
カスタムコンテナベースのVertex AI WorkbenchインスタンスがGA
カスタムコンテナベースのVertex AI Workbenchインスタンスを作成する機能が一般提供開始しました。
Vertex AI Searchのアップデート
いくつかアップデートがありましたが、Cloud Storageとの連携のものを紹介します。
プレビューでデータセットとCloud Storageを定期的に同期できるように
プレビューでCloud Storageと定期的に同期するデータストアが作成できるようになったそうです。現状は1日・3日・5日の間隔から選択できます。
BigQueryのアップデート
BigQuery MLのリモート関数でVertex AIのAnthropic Claudeモデルが利用可能に（プレビュー）
プレビューで、ML.GENERATE_TEXT関数で、Anthropic Claude modelを使用できるようになったようです。
イベント・サービス情報
相談会
クラスメソッドのアナリティクス分野の支援では、AWS、Google Cloudを中心としたクラウド上でのデータ分析基盤環境づくりにおいてトータルでサポートしています。
このようなことでお困りではないですか？相談会にお気軽にご相談ください。
- 企業内に点在するデータを1箇所にまとめて分析したい
- クラウド上で分析基盤を導入したい・・・
- データを活用したいが、具体的に何から始めたらいいかわからない
機械学習相談会のお申込みはこちらです。
データ分析相談会のお申込みはこちらです。
機械学習システム導入支援サービスについて
AWSやGoogle Cloudなどパブリッククラウドにて、機械学習サービスを活用したシステムの導入支援を行います。詳しくは以下のページをご覧ください。
例えば以下のようなケースをご支援しています。
- ECサイトのレコメンドシステムを構築し、利用者にパーソナライズされたおすすめ商品を提示する
- SNSや問い合わせのログなどから、テキストマイニングを活用したインサイトの発見する
- 画像解析により、工場における不良品検出や農業・畜産業分野での生育管理を効率化する
- 売上や消費者の行動などから、将来の需要を予測する
最後に
2024年8月に発表された、AWSとGoogle CloudのML機能のアップデートについて、メンバーでピックアップした情報についてご紹介しました。
データアナリティクス通信(機械学習編) - 2024年9月号は以上です。
![[アップデート] Amazon Bedrock Knowledge Bases がクロスリージョン推論をサポートしました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-e3065182082062711612153bbdcf1d96/c04359de689df2f56eb066576ab63fb5/amazon-bedrock)
![[アップデート] Amazon EventBridge のパイプ機能（EventBridge Pipes）でもカスタマーマネージドキーを使った暗号化がサポートされました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-48037b4d08a5d4b9224074300706dc60/b96cdc54bea6dbeec12fad9b23858b1a/amazon-eventbridge)
![[2024年版]GuarddDutyで様々な検出を発生させるAmazon GuardDuty Testerを簡単に実行できるようにアレンジしてみた](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-f1f1e80330aaa8917410e012de277155/263838c1009bccfef2d8a98f11615f2d/amazon-guardduty)
